def ARI_fct_KMeans(features):
"""
Détermination des clusters et calcul ARI entre vrais catégories et n° de clusters
Réduction dimensionelle avec umap.
Calcul des clusters avec un KMeans et
calcul du score ARI entre les vrais catégories et les clusters.
Réduction dimensionelle avec umap pour projeter les résultats en 2d.
Parameters:
features (array): Les features représentant les corpus(Countvectorizer, Tf_idf, Word2Vec, BERT...)
Returns:
ARI (float): Le score ARI, arrondi à 10e-4
X_umap (array(float)): La projection qui est calculée par umap
cls.labels_ (array(int)): L'array qui contient les labels des clusters
"""
time1 = time.time()
num_labels = len(l_cat)
cls = cluster.KMeans(n_clusters=num_labels, random_state = 0)
cls.fit(features)
X_umap = umap.UMAP(n_components=2, metric="cosine").fit_transform(features)
ARI = np.round(metrics.adjusted_rand_score(y_cat_num, cls.labels_), 4)
time2 = np.round(time.time() - time1, 0)
print("ARI : ", ARI, "time : ", time2)
return ARI, X_umap, cls.labels_
def ARI_fct_UMAP_KMeans(features):
"""
Détermination des clusters et calcul ARI entre vrais catégories et n° de clusters
Réduction dimensionelle avec umap.
Réduction dimensionelle avec umap(n_components=4)
et calcul des clusters avec un KMeans et
calcul du score ARI entre les vrais catégories et les clusters.
Réduction dimensionelle avec umap pour projeter les résultats en 2d.
Parameters:
features (array): Les features représentant les corpus (Countvectorizer, Tf_idf, Word2Vec, BERT...)
Returns:
ARI (float): Le score ARI, arrondi à 10e-4
X_umap (array(float)): La projection qui est calculée par umap
cls.labels_ (array(int)): L'array qui contient les labels des clusters
"""
time1 = time.time()
num_labels = len(l_cat)
X_umap = umap.UMAP(n_components=2).fit_transform(features)
cls = cluster.KMeans(n_clusters=num_labels, random_state = 0)
cls.fit(X_umap)
ARI = np.round(metrics.adjusted_rand_score(y_cat_num, cls.labels_), 4)
time2 = np.round(time.time() - time1, 0)
print("ARI : ", ARI, "time : ", time2)
return ARI, X_umap, cls.labels_
def ARI_fct_UMAP_Dendro(features):
"""
Détermination des clusters et calcul ARI entre vrais catégories et n° de clusters
Réduction dimensionelle avec umap.
Réduction dimensionelle avec umap(n_components=4)
et calcul des clusters avec AgglomerativeClustering et
calcul du score ARI entre les vrais catégories et les clusters.
Réduction dimensionelle avec umap pour projeter les résultats en 2d.
Parameters:
features (array): Les features représentant les corpus (Countvectorizer, Tf_idf, Word2Vec, BERT...)
Returns:
ARI (float): Le score ARI, arrondi à 10e-4
X_umap (array(float)): La projection qui est calculée par umap
cls.labels_ (array(int)): L'array qui contient les labels des clusters
"""
time1 = time.time()
num_labels = len(l_cat)
X_umap = umap.UMAP(n_components=2).fit_transform(features)
cls = cluster.AgglomerativeClustering(n_clusters=num_labels)
cls.fit(X_umap)
ARI = np.round(metrics.adjusted_rand_score(y_cat_num, cls.labels_), 4)
time2 = np.round(time.time() - time1, 0)
print("ARI : ", ARI, "time : ", time2)
return ARI, X_umap, cls.labels_
def ARI_fct_HDBSCAN(features):
"""
Détermination des clusters et calcul ARI entre vrais catégories et n° de clusters
Réduction dimensionelle avec umap.
Calcul des clusters avec un HDBSCAN et
calcul du score ARI entre les vrais catégories et les clusters.
Réduction dimensionelle avec umap pour projeter les résultats en 2d.
Parameters:
features (array): Les features représentant les corpus (Countvectorizer, Tf_idf, Word2Vec, BERT...)
Returns:
ARI (float): Le score ARI, arrondi à 10e-4
X_umap (array(float)): La projection qui est calculée par umap
random_search.best_estimator_.labels_ (array(int)): L'array qui contient les labels des clusters
"""
time1 = time.time()
num_labels = len(l_cat)
hdb = hdbscan.HDBSCAN(gen_min_span_tree=True,
min_samples=20, min_cluster_size=20)
hdb.fit(features)
X_umap = umap.UMAP(n_components=2).fit_transform(features)
ARI = np.round(metrics.adjusted_rand_score(
y_cat_num, hdb.labels_), 4)
time2 = np.round(time.time() - time1, 0)
print("ARI : ", ARI, "time : ", time2)
return ARI, X_umap, hdb.labels_
def ARI_fct_UMAP_HDBSCAN(features):
"""
Détermination des clusters et calcul ARI entre vrais catégories et n° de clusters
Réduction dimensionelle avec umap.
Réduction dimensionelle avec umap(n_components=4)
et calcul des clusters avec HDBSCAN et
calcul du score ARI entre les vrais catégories et les clusters.
Réduction dimensionelle avec umap pour projeter les résultats en 2d.
Parameters:
features (array): Les features représentant les corpus (Countvectorizer, Tf_idf, Word2Vec, BERT...)
Returns:
ARI (float): Le score ARI, arrondi à 10e-4
X_umap (array(float)): La projection qui est calculée par umap
random_search.best_estimator_.labels_ (array(int)): L'array qui contient les labels des clusters
"""
time1 = time.time()
mapper = umap.UMAP(
n_components=2).fit(features)
num_labels = len(l_cat)
X_umap = mapper.fit_transform(features)
hdb = hdbscan.HDBSCAN(gen_min_span_tree=True,
min_samples=20, min_cluster_size=20)
hdb.fit(X_umap)
ARI = np.round(metrics.adjusted_rand_score(
y_cat_num, hdb.labels_), 4)
time2 = np.round(time.time() - time1, 0)
print("ARI : ", ARI, "time : ", time2)
return ARI, X_umap, hdb.labels_
def umap_visu_fct(X_umap, y_cat_num, labels, ARI):
"""
Affiche la aisualisation de umap selon les vraies catégories et selon les clusters.
Scatter plot coloré avec les vrais clusters, et les clusters prédits.
Parameters:
X_umap (array): La projection qui est calculée par umap
y_cat_num (list(int)): Le numéro des catégories
labels (array): L'array qui contient les labels des clusters
ARI float: Le score ARI, arrondi à 10e-4
Returns:
None
"""
fig = plt.figure(figsize=(15, 6))
ax = fig.add_subplot(121)
scatter = sns.scatterplot(
data=X_umap, x=X_umap[:, 0], y=X_umap[:, 1], hue=y_cat_num, palette='Paired')
plt.title('Représentation des items par catégories réelles')
ax = fig.add_subplot(122)
scatter = sns.scatterplot(
data=X_umap, x=X_umap[:, 0], y=X_umap[:, 1], hue=labels, palette='Paired')
plt.title('Représentation items par clusters')
plt.show()
